Human-in-the-loop 审批中断与断点续跑
2025 年 7 月,一个 AI Agent 在明确的 code freeze 期间,对生产数据库跑了一条破坏性 SQL——Fortune 报道的 Replit 事故。它不是不够聪明,是没人在它按下回车前拦一下。
Agent 越自主,越需要一个能喊停的地方。但真正的难点不在"停",而在"停多久"——一次退款审批可能要等运营主管开完会,几个小时甚至几天。你总不能让一个进程在那儿干挂着。
一句话概括:Human-in-the-loop 的真身不是"弹个框等确认",而是"把 Agent 的状态存盘、让进程退出、等人类响应后从磁盘恢复"——审批可能等几天,能扛住这种长暂停的持久化机制,才是 HITL 的技术内核。
这篇讲清楚:HITL 的几种模式、为什么"持久化执行"是它的命门、主流框架怎么实现、哪些动作该设卡。配一个完全离线的 Go demo——一个会在高风险工具前存盘退出、由另一次进程调用恢复的 Agent 循环,你能亲眼看见进程真的退出又活过来。
一、五种 HITL 模式
不是所有"要人参与"都一样。按介入方式分五种:
| 模式 | 是什么 | 何时用 | 权衡 |
|---|---|---|---|
| 审批卡点 | 执行高风险工具前拦下,等人 approve/reject | 不可逆/高影响动作(写/删/发/花钱/部署) | 加延迟;滥用会导致"审批疲劳" |
| 中断与恢复 | 执行中途暂停、交还控制、稍后恢复 | 任何可能等几秒到几天的暂停 | 需要持久化状态 |
| 人作为工具 | Agent 像调工具一样"问人类"(ask_human) | 只有人类知道的事实/决策 | 人成了延迟和可用性依赖,需超时兜底 |
| 审阅与编辑 | 人类修改 Agent 提议的参数再执行 | 参数大体对但要修正(退款金额、SQL) | 每个动作人力更重 |
| 主动升级 | Agent 自己判断需要人、主动交接 | 置信度低、信号冲突、超出策略 | 必须在 harness 层强制,不能只靠提示词 |
一个 2026 的重要转变——"human in the loop" vs "human on the loop":
- in the loop(在环内):动作前人类阻断执行。控制强,扩展差。用于不可逆/高风险。
- on the loop(在环上):Agent 在预设边界内自主跑,人类盯看板、事后可干预/叫停。扩展好。用于可逆/中风险。
2026 共识:按动作分级设监督,而不是给整个 Agent 定一种姿态。 同一个 Agent,可以读数据在环外、监控外呼在环上、退款前停下在环内。
一句警告:"事后审查" ≠ "在环内"。钱都划走了才去看日志,那叫监控,不叫卡点。
二、命门:持久化执行(durable execution)
这是 HITL 最硬、也最少人讲透的部分。
核心难题:审批可能要几小时几天,你没法让一个进程(和它的内存)挂那么久。 唯一稳妥的答案——序列化状态、退出进程、人类响应后从存储恢复。
这里有一个致命的认知误区,你的 demo 必须避开它:
对话恢复 ≠ 执行恢复。 恢复消息历史,不等于恢复执行。如果 Agent 在 10 步里的第 5 步崩了,你用同样的历史重新初始化,LLM 看到的是一段对话记录,会重新开一次推理——它可能重复、跳过或跑偏。你必须存下"有一个工具调用处于 pending 状态、卡在哪里"。
两个必须内化的工程事实:
- 你得到的是 at-least-once,不是 exactly-once。 崩溃发生在"工具执行了、但结果还没存"之间,恢复时会重跑这个工具。对策:让工具幂等(幂等键、
find_or_create、"已发送"标记)。 - 持久化状态必须可序列化——不能有打开的连接、文件句柄、socket。JSON 是标准选择,还顺便可读、好 debug。
checkpointer 和 durable execution 不是一回事:前者(LangGraph/DBOS)在标记点存状态、你自己管重试和去重;后者(Temporal/Restate)运行时替你管重试/恢复/去重、你写普通代码。跑得比"一杯咖啡时间"更长的 Agent,生产栈通常是 LangGraph + Temporal/Restate/DBOS,而不是单用 LangGraph。
三、主流框架怎么实现(当前 API)
| 框架 | 卡点机制 | 恢复机制 |
|---|---|---|
| LangGraph | 节点里 interrupt(payload),挂起并把 payload 抛给调用方 | Command(resume=值),靠 thread_id 定位 checkpoint |
| OpenAI Agents SDK | 工具标 needs_approval(可按参数动态判定),返回 interruptions | RunState 序列化成字符串存库,state.approve/reject 后 Runner.run(agent, state) |
| Claude Agent SDK | canUseTool 回调 + PreToolUse hook | 固定评估顺序,deny 永远胜出 |
| Temporal | Signal 送审批决策,durable timer 管超时 | 对 Event History 重放,历史决策被重放而非重问 |
三个必须记住的坑:
- LangGraph 恢复时节点会从头重跑——
interrupt()之前的所有代码会重新执行,所以副作用必须幂等,最佳实践是把interrupt()放在节点开头。 - Claude Agent SDK 的
canUseTool不是可靠的最后防线——已被 allow 规则自动放行的调用不会触发它;只有PreToolUsehook 无条件运行(即使bypassPermissions),它才是最后的强制点。 - OpenAI SDK 只给机制——决策逻辑、审批 UI、持久化、超时/升级全是你自己的事,pending 的 run 默认无限等待。
四、动手:一个会存盘退出、又能恢复的 Agent 循环
配套代码在 human-in-the-loop,完全离线(用确定性脚本冒充 LLM,因为要演示的是 checkpoint/resume 机制,不是模型多聪明)。
任务:给订单 A123 退款 1200 元并通知用户。三个工具分风险等级——lookup_order(只读,自动)、refund(写钱,≥1000 元要审批)、notify_user(通知本人,自动)。
状态就是一个可 JSON 序列化的结构体,存的是"待执行工具调用"而非只有历史:
type Checkpoint struct {
SessionID string `json:"session_id"`
Cursor int `json:"cursor"` // 走到 plan 的第几步
Audit []string `json:"audit"` // 审计轨迹
Refunded bool `json:"refunded"` // 幂等标记
Pending *Pending `json:"pending,omitempty"` // 待审批的调用
}
审批判定在 harness 层,按可逆性+影响面分级——不靠提示词:
func needApproval(s step) bool {
if !s.risky {
return false // 只读工具直接放行
}
if s.tool == "refund" {
return s.args["amount"].(float64) >= approvalThreshold // ≥1000 才拦
}
return true
}
循环的关键:到审批点存盘,然后进程真的退出(不是 sleep,是 return 到 main 结束):
for cp.Cursor < len(plan) {
s := plan[cp.Cursor]
if needApproval(s) && cp.Pending == nil {
cp.Pending = &Pending{Tool: s.tool, Args: s.args}
save(cp) // 存盘
fmt.Printf("⏸ 需要人工审批:%s(%v)\n", s.tool, s.args)
return // 进程结束——这才是持久化,区别于阻塞式等待
}
execTool(cp, s)
cp.Cursor++
save(cp) // 每步后存盘:崩了重载即可,最多重跑一步(靠幂等兜底)
}
工具幂等——恢复时若已退过就跳过,防重复退款:
case "refund":
if cp.Refunded { // 幂等:已退过就跳过,防恢复时重跑
cp.Audit = append(cp.Audit, logline("refund 已执行过,幂等跳过"))
return
}
cp.Refunded = true
// ...真正退款...
跑一遍,注意每条命令都是独立的进程调用,中间进程真的退出了:
$ go run . # 开新会话
▶ 新会话 s-...:给订单 A123 退款 1200 元并通知用户
⏸ 需要人工审批:refund(map[amount:1200 order:A123])
已存盘到 checkpoint.json,进程退出。
$ go run . approve # 另一次进程调用,从磁盘恢复
👍 已批准 refund(...),从磁盘恢复执行……
—— 审计轨迹 ——
... 执行 lookup_order → 订单存在
... 人工批准 refund(...)
... 执行 refund → 已退款
... 执行 notify_user → 已通知用户
✅ 会话结束,checkpoint 已清理。
这就是 HITL 的本质:进程在 go run . 结束时彻底退出,状态躺在磁盘上;go run . approve 是全新的进程,从盘上把状态捡起来接着跑。中间隔一分钟还是三天,对它没区别。
五、哪些动作该设卡:可逆性 + 影响面
决策规则(2026 收敛):按可逆性 + 影响面设卡,且在 harness 层强制,不靠提示词。
判断"不可逆"的两问:
- 技术可逆性:销毁机器能撤销吗?(删了 VM 就啥都没了 → 技术上可逆的相反)
- 社会不可逆性:除了 Agent,别人看到结果了吗?开 PR、发邮件、发布包、推 webhook——即使技术上能回滚,社会层面已不可逆。这些才是让人后悔的动作。
四级结构:
| 级别 | 例子 | 控制 |
|---|---|---|
| 绿 · 自动 | 只读查询、内部查找、通知操作本人 | 无需审批 |
| 黄 · 异步审批 | 非关键内部数据的写 | 先执行,但留足够上下文能事后审查/回滚 |
| 橙 · 实时卡点 | 外部 API、生产库写、金融操作 | 执行中人工审批 |
| 红 · 硬禁用 | 破坏性生产操作、凭证管理、审计日志写 | 基础设施层拦死或多方审批 |
配套要点:阈值动态化(转账 <1000 自动、≥1000 卡点);每个 pending 都要有超时 + 兜底(超时 fail-safe 到"拒绝",保留部分上下文供审计);审计要记工具名 + 参数(read_file("/etc/shadow") 才是有用记录,光记 read_file 没用)。
两个要设计规避的陷阱:
- 审批疲劳 / 自动化偏见:人类审到第 50 个就开始盲点"同意",攻击者会把恶意调用埋在一堆无害调用里。对策——别给低风险例行动作设卡,把卡点和异常检测配套。
- 设卡是易事,判断哪些该停是难题:别假设存在"绝对正确的风险标签",也别假设审查员永远在线。
六、和安全的关系
HITL 是不可逆/高影响动作的最后一道护栏(详见第 10 篇)。一个可复用的心智:单次模型调用的影响面天然有界;一个带记忆、能读写库、有下游工具权限的持久 Agent,影响面随它持有的每一项权限放大。
默认姿态:凡是写/删/移动数据的一律 deny,权限给窄,高影响动作要审批,破坏性生产操作硬禁。 只读收窄是最强的containment 之一——一次成功的 prompt injection 也触发不了写操作。
小结
Human-in-the-loop 的技术内核不是"弹框确认",是持久化执行:把状态序列化、进程退出、人类响应后从磁盘恢复,才能扛住几小时几天的长暂停。记住"对话恢复 ≠ 执行恢复"——要存下 pending 的工具调用;记住你只有 at-least-once——工具必须幂等。设卡按可逆性+影响面分级、在 harness 层强制;只读自动放行,写/删/花钱的要人,破坏性生产操作硬禁。从零手搓能让你看清 checkpoint/resume 的骨架,但生产里跑得久就该上 Temporal/Restate/DBOS——因为状态 schema、部分写、废弃会话清理这些隐藏工作量,正是它们存在的理由。
参考资料
| 资料 | 来源 |
|---|---|
| LangGraph interrupts(interrupt/Command/checkpointer) | docs.langchain.com/oss/python/langgraph/interrupts |
| OpenAI Agents SDK Human-in-the-loop | openai.github.io/openai-agents-js/guides/human-in-the-loop |
| Claude Agent SDK permissions / hooks | code.claude.com/docs/en/agent-sdk/permissions |
| Temporal HITL AI cookbook | docs.temporal.io/ai-cookbook/human-in-the-loop-python |
| Restate vs Temporal vs DBOS(持久化执行选型) | kanopylabs.com/blog/restate-vs-temporal-vs-dbos |
| Build long-running agents that pause/resume(ADK) | developers.googleblog.com |
| 本篇配套代码 | github.com/hua-ri/agent-learning /main/human-in-the-loop |